买回来一台 AI 迷你主机之后，很多人面临的第一个问题不是“硬件够不够强”，而是“下一步该怎么办”。开机、联网、看到桌面之后，接下来怎么做才能让这台小机器真正跑起大模型，变成一个能用的 AI 助手？

这篇文章，我以华一精品的 AI 迷你主机为例，从拆箱到跑通第一个大模型，一步一步走一遍。不同品牌的操作逻辑类似，可以直接对照着做。

一、部署前的准备工作

硬件方面，目前主流的 AI 迷你主机都内置了 NPU 或高性能集成显卡，内存建议不低于 16GB，存储建议 512GB 起步。华一 PB1202 搭载 AMD R5-6600H 处理器，集成 Radeon 660M 显卡，配备 16GB LPDDR5 内存和 512GB SSD，定位就是“开箱即用的入门级 AI 推理设备”。如果预算允许，建议直接上 32GB 内存版本，能更从容地应对未来更大的模型。

软件方面，Windows 11 用户直接使用即可，驱动通常已预装；Linux 用户推荐 Ubuntu 22.04 LTS。网络方面，初次下载模型需要联网，后续推理可以完全离线运行。另外需要准备一个至少 20GB 可用空间的磁盘分区，用于存放模型文件。

二、安装推理框架

目前本地部署大模型最通用的工具是 Ollama，支持 Windows、macOS 和 Linux，对 AMD 和 Intel 的集成显卡都有较好支持。访问 ollama网，根据操作系统下载对应版本并安装。Windows 用户安装完成后，在开始菜单找到 Ollama 并启动，任务栏会出现一个小羊驼图标，说明后台服务已运行。

如果使用 Linux，执行一条命令即可安装：curl -fsSL https://ollama.com/install.sh | sh

AMD 平台的 Windows 用户，推荐额外安装 LM Studio 作为备选。它界面更友好，支持 ROCm 加速，对 Radeon 显卡的兼容性较好。访问 lmstudio.ai 下载安装即可。

三、下载大模型

Ollama 安装好之后，在终端（命令提示符）或 LM Studio 的搜索框中输入模型名称，即可开始下载。对 PB1202 来说，推荐从 qwen2.5:7b 开始尝试，这是阿里开源的 7B 参数模型，中文能力强，INT4 量化版本约 4GB，硬件友好。想尝试更小体量的模型，可以选 phi3:mini，微软开源，3.8B 参数，推理速度快，适合硬件配置较低的设备。

如果已经有 GGUF 格式模型文件，可以跳过下载，直接放到指定目录，Ollama 会自动识别。下载速度取决于网络，模型文件通常 4-8GB，耐心等待即可。

四、首次运行推理

模型下载完成后，在终端执行 ollama run qwen2.5:7b，或者直接在 LM Studio 中点击模型并开始对话。看到“>>>”提示符时，输入第一个问题，观察响应速度。PB1202 上的预期表现是每秒 12-18 个 token，日常问答和代码生成流畅可用。

PB1202 基于 AMD Radeon 660M 显卡运行，实测可以流畅应对 7B 级别模型的日常问答和代码生成任务，生成速度足够支撑日常使用。如果需要更高的推理速度或运行更大尺寸的模型，建议选择配置更高的型号。

五、进阶配置

如果希望开机后模型自动加载，不用每次手动启动，Windows 用户可以将 ollama run qwen2.5:7b 添加到启动项，或者在 LM Studio 中开启“启动时加载模型”选项。Linux 用户则可以配置 systemd 服务。

多用户共享方面，Ollama 默认监听本地端口，同局域网的其他设备可以通过设置环境变量 OLLAMA_HOST=0.0.0.0:11434 来访问。设置后，团队成员可以在自己的电脑上通过 API 调用这台 AI 迷你主机的推理能力。注意设置防火墙规则，避免未授权访问。

如果需要量化模型以进一步提升推理速度，可以使用 Ollama 自带的量化参数，或在下载时选择已量化的模型版本。INT4 量化的 7B 模型在 PB1202 上表现均衡，能够在速度和精度之间取得较好的平衡。

六、常见问题

Q：模型下载太慢怎么办？
可以设置国内镜像源或使用代理。Ollama 支持通过环境变量 OLLAMA_MODELS 指定模型目录，方便迁移已下载的模型文件。

Q：推理速度比预期慢？
检查显卡驱动是否正常。PB1202 的 Radeon 660M 需要安装最新 AMD 驱动。也可以在任务管理器的性能标签页中查看 GPU 使用率，确认是否在正常调用。

Q：能否同时跑多个模型？
Ollama 支持多模型管理，但受限于内存容量，建议同时加载不超过 2 个 7B 模型。16GB 内存下，多个模型同时加载可能导致交换内存，影响推理速度。

七、本地部署AI大模型大概需要多久

整个部署流程大约在 30-60 分钟内完成（不含模型下载时间）。关键步骤是确认硬件支持、选对推理框架、下载适配的模型版本。一台 AI 迷你主机的本地大模型部署，复杂度并不比安装一套普通办公软件高多少。迈过第一步之后，它就能成为团队内部一个完全自主可控、不依赖外部网络和 API 收费模式的本地 AI 基础设施。

如果你在部署过程中遇到具体问题，或需要批量采购预装好环境的 AI 迷你主机，欢迎联系华一精品，我们提供从硬件配置、系统预装到推理环境部署的完整服务。